异步流图语言模型（aFMLMs）
🧭 并行语言模型 · 异步流图
KAIST · Purdue University · The University of Tokyo
将 token 预测顺序通过异步流图编码进单步并行语言模型，实现高质量一步生成
📌 工作参考价值（4 点）
- 延迟敏感场景（如搜索结果摘要、推荐理由、广告文案）可借鉴 aFMLM 将教师迭代生成的顺序知识蒸馏到单步学生模型，保持生成质量的同时把推理从多步降到一步，显著降低 RT。
- 学习 state-adaptive 的 token 时间调度可作为一种隐式排序机制：模型根据上下文决定哪些 token 先“成熟”，适合需要动态优先级生成的推荐解释或对话式推荐。
- 蒸馏流程可复用到生成式推荐中的 Semantic ID 序列生成：用教师模型（AR 或扩散）生成顺序信号，训练单步模型快速输出 item ID 序列，降低线上生成延迟。
- 该方法在 Sudoku 和代码生成等结构化推理任务上有效，提示在需要约束生成的任务（如商品标题、属性组合生成）中，显式建模 token 顺序可能比纯并行生成更优。
单纯形扩散模型：离散扩散的概率单纯形框架
🧭 离散扩散 · 概率单纯形 ★ 深度解读
Google DeepMind · EPFL · UCL Gatsby
提出在概率单纯形上扩散的 SDM，保留中间不确定性，用 DDIM 式采样统一离散与连续扩散
📌 工作参考价值（4 点）
- 生成式推荐/ Semantic ID 生成中，离散扩散每一步仅采样一个 token 会丢失分布，SDM 用单纯形上的分布作为中间状态，可保留候选 item 的不确定性，减少误差累积；无需 Self-Conditioning 的额外前向。
- 大词表场景（如 item ID 词表很大）可以用 argmax embedding 替代期望 embedding，避免 O(V*d) 矩阵乘法，同时保持推理连续状态；这是工程上可落地的 trick。
- DDIM-like 采样器有 churn 参数，可调节随机性（实验中 κ=1 通常最好），且支持蒸馏到极低步数（8 步），有利于在线生成式推荐的低延迟部署。
- 用 normalized variance ν_t 调度浓度比直接调 c_t 更直观，便于在不同任务上快速调参；自适应时间采样也能提升性能。
E-MoE：面向非因子化扩散语言模型的增强型专家混合
🧭 非因子化扩散语言模型 · MoE 路由
Applied AI Institute, Moscow, Russia
利用 MoE 路由决策作为离散共享隐变量，构建非因子化反向过程，在不增加激活参数下提升少步生成质量
📌 工作参考价值（3 点）
- 若业务中存在少步文本生成需求（如创意文案、标题生成、query 补全、push 文案），E-MoE 可用 MoE 路由决策作为离散共享隐变量，比连续 VAE latent 更不易 posterior collapse，且不增加激活参数，适合在线推理。
- 非因子化建模思路可迁移：在生成式推荐或 query 生成中，token 间常有强相关性（属性组合、标题模板、风格约束），可尝试将反向过程构造为多个因子化分布的 mixture，通过轻量 MoE router 输出离散 latent 来捕获位置依赖。
- 工程实现上：共享路由决策不增加 active parameters，意味着在低 NFE 场景下推理时延可控；可在现有 MDLM 基础上仅替换反向建模方式，无需重新设计主干网络。
分数阶状态空间转移用于长序列建模
🧭 长序列建模 · 分数阶状态空间 ★ 深度解读
Huawei Noah's Ark Lab, Montreal Research Center, Canada
用分数阶动力学替换指数遗忘，通过有限指数模态近似实现高效选择性SSM长序列建模
📌 工作参考价值（5 点）
- 用户长期行为序列建模可直接借鉴：电商/广告场景通常有数月甚至跨年的点击、浏览、购买序列，传统 SSM/RNN 的指数衰减会快速抹掉早期兴趣。FRAC 的分数阶动力学生成幂律记忆，能在更长时间范围保留历史影响，适合作为用户长期兴趣记忆模块。
- 多时间尺度记忆银行的具体实现：将状态转移分解为 log-spaced 指数衰减模态，用可学习 α_t 控制衰减强度，并用 token-dependent λ_t 做选择性调制。这种设计与用户行为中不同时间尺度模式（如近期强兴趣、历史稳定偏好）天然对齐，可直接嵌入现有 user encoder。
- 工程实现与训练效率：FRAC 保持一阶仿射递归，可用 chunked parallel scan 并行训练/prefill，自回归解码有界状态，且有 custom Triton kernel。对需要低延迟、长序列增量更新的推荐/广告检索系统来说，架构可迁移。
- 读写对齐技巧：read/write 路径共享 softmax(-α_t log τ_m + g(u)_m) 的对数时间尺度寻址，能提升信息写入和读取的一致性。在用户行为表示中可类比为让不同时间尺度的兴趣槽位在写入和读取时使用同一套寻址逻辑，增强记忆可检索性。
- 若业务序列普遍较短或已由 Transformer 覆盖，收益可能有限；但对长上下文行为建模和实时增量计算场景值得尝试。
记忆注意力：用token索引记忆替代value投影
🧭 注意力机制 · token memory
提出Memory Attention，以token索引记忆加上下文key构造value，支持归一化折叠与CPU卸载，提升语言建模和下游性能
📌 工作参考价值（4 点）
- 将 token-indexed memory 放到 CPU/SSD 并 prefetch 的思路，可直接迁移到电商/广告场景的大词表、item ID、Semantic ID 等 embedding 存储，降低 GPU 显存占用，适合线上推理降本。
- 用「key + norm(memory)」构造 value 替代独立 value projection，可减少参数和计算；在生成式推荐或用户序列建模中，可以尝试用静态 item/token memory 与上下文 key 相加，保留个性化同时降低 FLOPs。
- 推理时把归一化折叠进 embedding table 的工程技巧，能减少 per-token 计算步骤，对高 QPS 的搜索/推荐在线服务有直接参考价值。
- 论文核心面向 LLM 预训练，业务迁移前需在推荐或 Agent 场景重新验证：token 静态表示对非语言 ID 的适用性、以及 memory 规模与显存/延迟权衡仍需实验。
Complex KDA：理解并增强 Kimi Delta Attention 的表达能力
🧭 线性 RNN 表达能力增强
University of Freiburg · Microsoft Research · University of Tübingen · MPI-IS Tübingen · EPFL
通过扩展门控与 delta 系数范围，提出 CKDA，在不增加秩或成本下实现 2D 旋转并达到 DeltaProduct2 的表达能力
📌 工作参考价值（4 点）
- 对需要轻量序列建模的电商/广告场景（如用户行为序列、点击流预测），CKDA 提供了一种保持状态非膨胀的对角加秩一线性 RNN，计算开销低，可作为长序列用户建模的候选架构。
- 参数范围扩展（门控 [-1,1]，beta [0,2]）简单且不增加推理成本，可以尝试在已有 KDA 或 delta-rule 模块中直接调整范围，观察对长尾序列或周期行为（如促销周期）的建模提升。
- 文中证明 CKDA 可跟踪 SO(3) 子群，表明其具备更强的状态跟踪能力，适合需要精确维护内部状态的 Agent 或对话系统，可能减少层数或状态维度需求。
- 注意：论文核心是基础架构创新，业务直接迁移价值有限，主要在需要高效长上下文处理且对表达能力有要求的场景（如用户长期兴趣演化）可考虑替换 Transformer 层或作为轻量 backbone。
门控循环Transformer：通过循环调制实现深度表达力
🧭 高效Transformer架构 · 循环深度共享
The German University in Cairo · Technical University of Munich · Cerebras Systems Inc.
用门控循环共享核心层，在固定算力或参数预算下达到甚至超越稠密Transformer质量，大幅减少参数与解码内存
📌 工作参考价值（4 点）
- 共享核心层 + 固定 prelude/coda 的架构可作为在线大模型推理的轻量化替代：用 3 层共享核心迭代 R 次匹配 12 层稠密模型精度，峰值解码内存降低约 59%，适合内存受限但延迟容忍度较高的生成式推荐/文案生成服务。
- 门控循环更新机制（elementwise gate 结合隐藏状态、prelude 输出与每步重采样噪声）能让同一组层在不同循环步动态调制输入，避免深度共享导致的表达坍缩；该 trick 可迁移到推荐序列建模中的共享 Transformer 层，在参数不变的情况下提升序列多样性建模能力。
- 采用 isoFLOPS / isoPARAMS 评估方式做架构选型，对实际部署有指导意义：在固定算力或参数预算下，优先考虑增加循环深度而非堆叠唯一层，可以获得更好的 loss/质量与内存 tradeoff。
- 对于广告文案生成、搜索 query 推荐等需要大模型但受限于显存和参数规模的场景，GRT 提供了一种可复用的参数高效化路径，且其代码已开源，便于快速验证迁移效果。
状态-预测分离假说
🧭 Transformer 架构改进 · 预训练效率
Cornell University · Harvard University
分离 Transformer 中的状态存储和下一 token 预测功能，显著提升语言模型预训练效率和下游表现。
📌 工作参考价值（3 点）
- 用户行为序列建模（如点击序列）可借鉴双流设计：显式分离长期兴趣状态的存储和短期行为预测，可能提升数据效率和下游任务表现。
- 对于生成式推荐模型（用 LLM 生成 Semantic ID），分离持久状态与瞬时预测流可改善生成质量并加速收敛。
- 在预训练大型序列模型时，可尝试引入状态-预测分离，以更少的计算和 token 预算获得更强的表征，再微调至搜索/推荐任务。